Phù Phi được sử sách nói đến lần đầu là vào năm 357, khi cha ông là Phù Kiện lật đổ vị hoàng đế Phù Sinh bạo tàn và kỳ quái rồi lên ngôi với tước hiệu "Thiên vương". Phù Kiên lập Phù Phi làm Trường Lạc công. Vào thời điểm đó, Phù Phi được mô tả là người có tài cả trong việc quản trị và quân sự, tài năng chỉ kém thúc phụ Phù Dung.

Năm 378, Phù Kiên ủy thác cho Phù Phi dẫn một đội quân lớn đánh thành Tương Dương (襄陽, nay là Tương Dương, Hồ Bắc) của Tấn. Theo lời khuyên của tướng Cẩu Trường (苟萇), Phù Phi đã chọn cách vây thành và cắt nguồn tiếp tế để buộc tướng lĩnh trong thành đầu hàng, thay vì một cuộc tấn công trực diện. Tuy nhiên, khoảng tết năm 379, Phù Kiên lo lắng về việc chiếm thành nên đã gửi cho con trai cả một thanh kiếm với lời nhắn rằng nếu không chiếm được thành trong mùa xuân thì hãy tự sát với nó. Sau khi nhận kiếm, Phù Phi sợ hãi và đã thực hiện một cuộc tấn công ác liệt vào thành và chiếm được nó.